We introduce a challenging decision-making task that we call active acquisition for multimodal temporal data (A2MT). In many real-world scenarios, input features are not readily available at test time and must instead be acquired at significant cost. With A2MT, we aim to learn agents that actively select which modalities of an input to acquire, trading off acquisition cost and predictive performance. A2MT extends a previous task called active feature acquisition to temporal decision making about high-dimensional inputs. Further, we propose a method based on the Perceiver IO architecture to address A2MT in practice. Our agents are able to solve a novel synthetic scenario requiring practically relevant cross-modal reasoning skills. On two large-scale, real-world datasets, Kinetics-700 and AudioSet, our agents successfully learn cost-reactive acquisition behavior. However, an ablation reveals they are unable to learn to learn adaptive acquisition strategies, emphasizing the difficulty of the task even for state-of-the-art models. Applications of A2MT may be impactful in domains like medicine, robotics, or finance, where modalities differ in acquisition cost and informativeness.
translated by 谷歌翻译
2022-02-15
现实世界中的数据是高维的：即使在压缩后，书籍，图像或音乐表演也很容易包含数十万个元素。但是，最常用的自回归模型，变压器非常昂贵，以缩放捕获这种远程结构所需的输入和层数。我们开发了感知者AR，这是一种自回归的模态 - 不合骨架构，它使用交叉注意力将远程输入映射到少数潜在的潜在，同时还可以维护端到端的因果关系掩盖。感知器AR可以直接进行十万个令牌，从而实现了实用的长篇小写密度估计，而无需手工制作的稀疏模式或记忆机制。当对图像或音乐进行培训时，感知器AR会生成具有清晰长期连贯性和结构的输出。我们的架构还获得了长期基准测试的最新可能性，包括64 x 64个Imagenet图像和PG-19书籍。
translated by 谷歌翻译
基于结构的药物设计涉及发现具有对蛋白质袋的结构和化学互补性的配体分子。深度生成方法表明了在提出从划痕（De-Novo设计）的新型分子中的承诺，避免了化学空间的详尽虚拟筛选。大多数生成的de-novo模型未能包含详细的配体 - 蛋白质相互作用和3D袋结构。我们提出了一种新的监督模型，在离散的分子空间中与3D姿势共同产生分子图。分子在口袋内部构建原子原子，由来自晶体数据的结构信息引导。我们使用对接基准进行评估我们的模型，并发现引导生成将预测的结合亲和力提高了8％，并在基线上通过10％的药物相似分数提高了预测的结合亲和力。此外，我们的模型提出了具有超过一些已知配体的结合分数的分子，这可能在未来的湿式实验室研究中有用。
translated by 谷歌翻译
我们呈现Wiki-CS，这是一种从Wikipedia派生的新型数据集，用于基准测试图形神经网络。数据集由对应于计算机科学文章的节点组成，基于超链接的边缘和表示字段的不同分支的10个类。我们使用数据集来评估半监督节点分类和单关系链路预测模型。我们的实验表明，这些方法在新域上表现良好，具有与早期基准的结构特性。DataSet公开可用，以及数据流水线的实现和基准实验，在https://github.com/pmernyi/wiki-cs-dataset。
translated by 谷歌翻译